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de um trabalho oneroso em termos de equipes técnico-administrativas, re- 
querendo pessoas de excelente nível e sensibilidade. Por outro lado» uma 
agência não pode expandir muito essas equipes, sob pena de criar um pro- 
cesso pesado c ineficaz. O tratamento desses grupos deve ser mais a exce- 
ção do que a regra. 

Em suma, diante de grupos mais maduros e já bem estabelecidos, é 
necessário lambem criar condições especiais que ofereçam os recursos e o 
apoio de que necessitam os mais novos, que contêm a promessa de desen- 
volvimento.' A concorrência pura c simples dificilmente permitiria o pro- 
gresso desses grupos iniciantes. Mas deve-se entender que o número de gru- 
pos com esse potencial c apenas uma fraç3o do total de grupos ou progra- 
mas cm operação. Nem existem disponíveis os recursos materiais ou finan- 
ceiros para apoiar a todos, nem haveria, em grande parte, o potencial para 
se beneficiar de tal apoio. Mais ainda, as formas institucionais de apoio ten- 
dem a ser artesanais e muito baseadas em tratamento de exceçâo; não se 
prestam para expansão indefinida. 



Notas 



Excccões seriam Brasília c os "filhotes" da USP, as Universidades de Campinas e 
Sao Carlos. 
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n. A QUESTÃO DA QUALIDADE 



Cláudio Moura Castro 



1 . Os mistérios da qualidade 

"Qualidade.-. . sabemos o que é. todavia, não sabemos. Eis uma con- 
tradição em termos. Mas algumas coisas são melhores que outras, isto 
é, têm mais qualidade. Mas quando tentamos dizer o que seria esta 
qualidade, separada das coisas que a contém, desmorona-se tudo! 
Não há sobre o que falar. Mas se ná*o podemos dizer o que é qualida- 
de, como saberíamos o que é ou como saberíamos se sequer existe? 
Se ninguém sabe o que é, então, para todos os efeitos não existiria 
de todo. Mas para todos os efeitos existe. Em que mais se baseiam as 
notas escolares? Por que outras razões algumas coisas custam uma 
fortuna e outras vão para o hxo? Obviamente, algumas coisas sa"o me- 
lhores que outras. . . mas o que é 'ser melhor*? E assim seguem ro- 
dando as engrenagens mentais sem que encontremos alguma coisa 
que lhes de traçâ"o. Que diabo é qualidade?'* (Pirsig. 1 975). 

Esta citaçSo de Pirsig frequentemente adorna, como epígrafe, as' dis- 
cussões sobre avaliação da ciência. Aí estão, a descoberto, as perplexidades 
do termo. Parafraseando Santo Agostinho, ao comentar o conceito de. tem- 
po, não há nada que se possa dizer para quem não tem ideia do que seja 
qualidade; mas, para quem tem alguma, há muito para se conversar. 

O termo é ameaçador quando isolado e colocado na berlinda. Contu- 
do, diante de casos concretos, temos sempre uma ideia do que contém 
mais ou menos "qualidade". No fundo, tendemos a nSo sertão relativistas 
quanto às vezes professamos, ao afirmar a existência da "nossa" e da "vos- 
sa" qualidade. Achamos, enfim, que a "nossa" qualidade é melhor, isto é, a 
"nossa" qualidade tem mais qualidade! 

A qualidade da ciência é o que os cientistas "de qualidade" acham 
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que é qualidade. Fica por ser melhor trabalhada a epistemologia da quali- 
dade. E ficamos nós com a modestíssima noção, de que as discussões 
usuais sobre a qualidade das pesquisas tomam como caixa preta epistemo- 
lógica as razoes e fontes últimas desse julgamento. Busca-se tâ"o somente 
mapear consenso e dissenso nas percepções daqueles que foram longamen- 
te preparados para a ciência e cuja experiência cotidiana gera intimidade 
com os assuntos sob julgamento. 

E é com tão magra dieta epistemológica que prosseguimos. Não tan- 
to por gosto como pela escassez de alternativas. 



2. A avaliação da ciência; os métodos usuais 

Quanto mais ativo e produtivo o ambiente científico, mais frequen- 
tes e rigorosas são as rotinas de avaliação. Nos países que lideram o mundo 
da ciência, cultiva-se prodigamente um emaranhado sistema de apreciação 
de propostas, instituições, grupos, pesquisas, cursos etc. Em outras pala- 
vras, parte considerável dos financiamentos transitam por mecanismos 
onde a avaliação tem grande peso. 

Poderíamos mesmo perguntar se os mandamentos da dúvida sistemá- 
tica, da discussão aberta e da crítica frontal, considerados ingredientes es- 
senciais do processo científico, não teriam estimulado esta propensão da 
ciência organizada para os infindáveis ritos de avaliação. De fato,é difícil 
pensar em outra área onde tanto esforço seja dedicado á avaliação e onde 
suas consequências sejam levadas tão a sério. 

Todavia, o vínculo entre avaliação e financiamento, hoje tão clara- 
mente registrado, esconde uma história deveras curta. É somente a partir 
da década de 60, quando os recursos para a ciência e tecnologia tornam-se 
mais escassos, que os mecanismos de avaliação passam a florescer. O que 
tomamos como tradicional no financiamento à pesquisa não passa, por- 
tanto, de procedimentos há pouco adotados. 

Mais ainda, não podemos supor que essas práticas sejam iguais entre 
países, disciplinas ou instituições, ou que sejam estáticas. E já que nossa in- 
cipiente convivência com a avaliação acaba, de uma forma ou de outra, 
sendo influenciada pela experiência dos países cientificamente mais expres- 
sivos, parece apropriado explicitar como esses países procedem para avaliar 
suas pesquisas. 

O início da avaliação como prática um pouco mais sistemática se dá 
no pós-guerra com o financiamento à pesquisa e a contratação de projetos 
pelas agências públicas. Em última análise, sua origem é militar. Mais espe- 
cificamente, é o Office for Naval Research norte-americano que formaliza 
esses procedimentos (Roy, 1983, p. 40). 

O processo decisório., nestes casos, cabia ao pessoal técnico e admi- 
nistrativo da própria instituição. Progressivamente, no entanto, passou a 
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haver uma participação maior de pares da comunidade científica. Não obs- 
tante, ainda é comum e respeitável, em todos os países, a utilização desses 
formatos onde predominam as equipes intramuros da agência patrocinado- 

ra. . , , 

Há duas grandes vertentes nos processos de avaliação. A mais usual e 
a avaliação pelos pares, fortemente ancorada na reputação adquirida pelo 
avaliado. A segunda deriva de critérios mais quantitativos, desembocando 
na bibliometria e cientometria. Previsivelmente, as alternativas mais inte- 
ressantes parecem residir em combinações dos dois métodos. 



3. A avaliação por pares 

A avaliação pelos pares (peer review) baseia-se no conhecimento acu- 
mulado pelos cientistas considerados em condições privilegiadas para jul- 
gar as pesquisas e instituições de sua área. A experiência demonstra que 
esse é um método simples, barato, suficientemente seguro e aplicável a 
uma gama bastante ampla de situações. 

Em geral, cientistas tendem a julgar conscienciosamente seus colegas. 
Tomadas as precauções usuais de aumentar o número de juízes e de pro- 
mover, com frequência, a sua renovação, a margem de erro é, na maioria 
dos casos, suficientemente reduzida. Precauções adicionais são normalmen- 
te adotadas. Muitas vezes é mantido o sigilo dos juízes para que sobre eles 
não pesem acusações de favoritismo ou discriminação e, sobretudo, para 
que não haja pressões diretas, insinuando ou instando certos resultados. 
Mas, na verdade, o sigilo é uma faca de dois gumes, pois desonera o juiz da 
responsabilidade tanto pelos acertos politicamente difíceis quanto pelos 
erros e tendenciosidades. 

Há várias maneiras de lidar com esse problema. O aumento do nume- 
ro de juízes, embora permita reter um sigilo externo, toma mais -visível 
para os outros pares a presença de elementos de julgamento estranhos ao 
assunto.' Certamente não se pode esperar confidência diante de situações 
em que se suspeita de falta de lisura. 

Outra alternativa, é o chamado procedimento double-blind, no qual 
não só os juízes permanecem incógnitos, mas também os trabalhos perdem 
a sua identificação. Há* excelentes razões para a sua adoção em grandes pro- 
gramas e concursos, em que se lida com amplos números. Porém , sua apli- 
cação em áreas pequenas é inviável, pois o mero assunto, a escolha da bi- 
bliografia e as técnicas utilizadas praticamente identificam o autor, tanto 
quanto o teor do laudo aponta o juiz. 

Uma restrição adicional ao método de avaliação por pares é o seu 
caráter de reíletír um conhecimento compartilhado na comunidade cientí- 
fica, onde, como em qualquer outro grupo, circulam mitos e enganos. O 
mais comum deles é o chamado efeito halo: pode continuar sendo conside- 
ra 
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rado bom o que já deixou de sê-lo e é considerado bom o que está próximo 
do que comprovadamente o é. As reputações persistem apesar de já ter-se 
deteriorado o desempenho. As "vacas sagradas" sâ"o muitas vezes julgadas 
mais pelo que fizeram do que por sua real probabilidade de realizarem o 
trabalho em pauta. E o halo da excelência transborda para as suas adjacên- 
cias. Lewis Solmon,um experimentado organizador de avaliações de cursos 
de pós-graduação, conta que o Departamento de Administração de Empre- 
sas da Universidade de Princeton foi considerado um dos melhores, apesar 
de Princeton não ter cursos de administração. 

Utilizando a analogia de Irving e Martin, o juízo dos pares funciona 
bem nos regimes de "concorrência perfeita" e é falho nos casos de "oEgo- 
pólio". De fato, o julgamento dos pares funciona corretamente quando há 
muitos juízes, muitos julgados e quando o objeto do julgamento nffo é ex- 
cessivamente dispendioso, de forma a pesar no todo. Mas ocorre que, so- 
bretudo no pós-guerra, a ciência passa a ser realizada em grupos cada vez 
maiores. A exigência de equipamentos muito caros requer grandes times 
de pesquisadores. 

O crescimento da big-science atinge inclusive o Brasil. Aceleradores 
de partículas, espectógrafos, cromatógrafos, microscópios eletrônicos, 
grandes telescópios e muitos outros equipamentos absorvem fatias grandes 
e indivisíveis de recursos. Nessas áreas, praticamente todos os pesquisado- 
res fazem big-science - não se trata de uma alternativa de trabalho, mas da 
única alternativa. 

Se assim é, os juízes escolhidos também participam de um determi- 
nado programa. E como os recursos que julgam são fundos substanciais no 
total dos orçamentos, essj>s juízes têm a ganhar ou perder com o resultado 
das avaliações. Se o laboratório concorrente ganha recursos, sobrará menos 
para o seu próprio. Trata-se, portanto, de um julgamento que exige mais 
do juiz do que seria apropriado esperar. Daí a tendência a se dar maior re- 
levo ao papel dos funcionários governamentais que, pelo menos, não têm 
comprometimento direto. Mas isso não deixa de trazer outros problemas, 
que examinaremos mais adiante. 

Nesse contexto, cabe enfatizar outro problema que, embora ocorra 
em todos os níveis, é mais grave na big-science. Aprovar um recurso signi- 
fica dar ao grupo agraciado recursos adicionais, mas a decisão oposta, de 
interromper o fluxo de recursos, pode ter consequências nefastas para o re- 
cipiente. São decisões que precisam ser tomadas, sobretudo em épocas de 
crise, quando os recursos se reduzem e os grupos apresentam fraco desem- 
penho. O ónus do juiz que toma essa decisão é particularmente pesado, 
principalmente nas áreas pequenas e nas de big-science, em que se manipu- 
lam recursos de grande monta. 2 

É ainda pertinente registrar as dificuldades encontradas para se cor- 
tar bolsas de pesquisadores que apresentam fraco desempenho ao longo do 
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tempo. Essa relutância tem sido observada tanto no CNPq quanto em seu 
congénere francês, o Centre National de Recherche Scientifique -CRNS, 
com consequências deveras negativas, já que leva a reter pesquisadores im- 
produtivos e subtrai um potente estímulo para o sistema como um todo. 



4. As avaliações quantitativas 

Diante dessas dificuldades, têm sido propostos critérios mais desvin- 
culados de julgamentos subjetivos e imediatos. No passado recente desen- 
volveram-se técnicas de apreciação da ciência por métodos quantitativos. 
Trata-se, na verdade, de manipular quantitativamente julgamentos qualita- 
tivos. No fundo, é um processo de contagem de coisas que já foram quali- 
tativamente julgadas. Por exemplo, uma instituição que tem cinco pesqui- 
sadores excelentes é considerada superior, como grupo de pesquisa, quan- 
do comparada a uma que só tem dois pesquisadores de mesmo gabarito. 
Dizemos que uma instituição que produz três contribuições importantes ao 
conhecimento coloca-se melhor do que outra que só produziu uma do mes- 
mo nível. , . 

A bíliometria, ou cientometria, nada mais é do que uma técnica para 
tratar comparações desse tipo de forma mais completa e rigorosa. Seus in- 
gredientes básicos são o reaproveitamento de avaliações geradas para ou- 
tros fins e as técnicas quantitativas para o seu tratamento. 

As vantagens da bibliometria residem na diluição dos elementos de 
julgamento. Os escores quantitativos constituem o somatório de muitos 
pequenos julgamentos e apreciações, realizadas por dezenas de pessoas. 

Todo' produto da ciência acaba sendo comunicado de forma escrita. 
Assim, ào se monitorar a ciência no seu momento de publicação, temos 
uma imagem bastante adequada do seu fluxo. Essa afirmativa é correta se 
entendemos ciência numa acepção muito estrita, isto é, como algo que se 
distingue da tecnologia, pois, em se tratando de tecnologia, a publicação 
pode mesmo ser indesejável. É de fato impossível discutir a avaliação da 
ciência e da tecnologia conjuntamente. 

Na prática, o Brasil desenvolveu uma política de apoio â ciência mui- 
to mais enérgica e eficaz do que conseguiu fazer em relação à tecnologia. 
Talvez isto tenha sido mesmo inevitável. É mais fácil produzir ciência do 
que tecnologia. Ciência se produz para outros cientistas, quase que em cir- 
culo fechado. Tecnologia só faz sentido à medida que hajam, no cam- 
po económico, decisões de fazer uso do produto. É algo muito mais difícil 
e que talvez só adquira real viabilidade uma vez feitas certas conquistas 
preliminares na institucionalização da ciência. 

Muito do que se aprende no desenvolvimento de uma comunidade 
científica pode ser reaproveitado na tecnologia. Mas nem tudo. Tratam-se 
de produtos diferentes. Na ciência o produto é o trabalho escrito, cuja qua- 

155 



lidade é inicialmente aferida pelo prestígio de quem a publica. Na tecnolo- 
gia a publicação é o acessório: o importante é o produto. 

A aplicação à tecnologia dos sistemas de estímulos usados na ciência 
pode levar à publicação de coisas que ou deveriam ser mantidas sigilosas ou 
então patenteadas. Pode levar também a um falso direcíonamento dos pro- 
gramas, à medida que, por analogia com os procedimentos científicos, 
esses programas são avaliados pelo volume de suas publicações. 

Outro problema é o ritmo de produção. Na ciência, os prazos funcio- 
nam como mecanismos de pressão para manter a intensidade de dedicação 
e uma certa eficiência no processo. Consequentemente, sua elasticidade é 
usual ou mesmo crónica. Já na tecnologia, os prazos são fatais. Os produ- 
to» têm programas de implantação de linhas e, como pano de fundo, 
a presença de seus concorrentes. Se os resultados se atrasam, podem mes- 
mo não interessar mais, além de azedar as relações escol a-empresa. 

Voltando às publicações, seu acompanhamento pode se dar através 
de níveis diferentes de sofisticação e seletívidade. Trata-se de um proces- 
so no qual se criam critérios segundo os mais variados graus de exigência. 
Por exemplo, pode-se incluir tudo que foi impresso, pode-se excluir revis- 
tas de circulação interna, pode-se exigir corpo eleitoral rígido para os pe- 
riódicos escolhidos e assim por diante. 

Nos países cientificamente maduros, o aperfeiçoamento dos indica- 
dores leva a critérios mais rígidos de inclusão — são arrolados apenas os ar- 
tigos publicados nos periódicos com critérios mais competitivos. Na práti- 
ca, são arrolados os artigos contidos em listas restritivas de periódicos, co- 
mo o Current Contents, que inclui cerca de 3.000 periódicos, todos consi- 
derados exigentes nos critérios de publicação e dotados de corpos edito- 
riais formados por cientistas renomados e oriundos de instituições diferen- 
tes. 

O passo seguinte é tomar não a publicação diretamente,mas o nume- 
ro de vezes em que é citada. A fonte usual, nesse caso, é o Gtatím Index. 
Esse indicador introduz um controle de qualidade adicional, pois requer 
que a publicação tenha sido lembrada por alguém que assina artigos em pe- 
riódicos de qualidade, listados no sistema de referência (na prática, o mes- 
mo Current Contents). 

Finalmente, visando captar não a quantidade de publicações razoa- 
velmente boas, mas aquele número restrito de contribuições excepcionais 
que determinam os saltos qualitativos da ciência, costuma-se tomar tam- 
bém aqueles artigos que foramcitados, digamos, mais de dez vezes. 

Com estes três indicadores compõe-se a rede de monitoração da pro- 
dutividade científica. São computados não apenas os artigos submetidos ao 
controle de qualidade dos corpos editoriais das revistas de melhor nível, 
mas também suas repercussões na literatura científica. De um lado, capta- 
se o volume de produção; de outro, identificam -se as contribuições que 
receberam aplauso implícito da comunidade científica. 
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Como se poderia esperar, esse sistema possui falhas e eqmvoc o Em 
geral criticam-se as contagens de publicações por ^^f*?"*™ 
fribu çóes de valor diferente. A crítica é correta em P"!^^^. 
cão das citações dos artigos como controle adicional. Todavia deve * en 

diosos ae uiumimc , melhores pesquisas onginam-se dos lo- 

tão estatisticamente associadas, as melhores pesq & 

cais onde se publica muito (Grasberg, 1959, pp. 31-37, CarakushamsKy, 
I982,p.2 eNarin, 1976,p. 2). . , -, 

nutra crítica usual e perfeitamente legitima e a de que cada área ae 
• - T "^.diferentes de publicação. Matemáticos publicam pou- 
ciência tem padrões diferentes ae puouc v Desse modo, são pre- 

„i,í«mio biólogos prodigamente e assim por diante, uessemouu,^ y 
Sr,^ toLlu^es g que se podem ^*™g«g~ «*» ** 
rentes ramos das ciências a ^^^^^^o Science Ci- 
A análise das citações tem também os seus V™ 01 *™* nmhlemas de 
tnrinn Index apenas o primeiro autor é citado; ademais ha problemas ae 
tationlnaex, apena .o y Existem também fenómenos espunos. 

homónimos e erros de identificação, jixisieni i«u 

certos artigos são muito citados por conterem algum ^err > seno por esta 
rem associados a algum método ou serem alvo de severas cnt»cas. Mms i co 
^^fío os efeitos de halo, que levam à citação, por prestigio de autores 
^^"J££^** « V trabalham em «^f^gíw 
?o, Próximos de muitos colegas que podem cita-los. Esta e a chamada Lei 
de Mateus; A quem já tem, mais lhe será dado, 

F«« nffo são problemas inventados ou artificiais, cies» exibem 
vem se, levados a sério, dentre outtas razoes, pela possibilidade de se redu- 
zir a eliminar alguns. «dando com esses assuntos nío 
crêem T t^; de ^^Tom^r a Cidade desses indica- 

*~ ssinrs^st — £»■» « — 

meio. De que nos serve isso tudo? <■„„-, <./•«« mie nos no- 

!í« rmfr* o ouesienifica que, se este índice capta bem o que circula fora 
STbSÍÍu XTluU das poucas revistas ^^^^ 
deixa de lado a massa de trabalhos que só circulam em âmbito nacional 
(ver Caoítulo III da Terceira' Parte deste volume.) 
(V /meuror informado sobre nossa produto cient íflcaumvers, an 
vem dos relatórios da pôs-graduaçSo encomendados pe CAPES TWU* 
de um dado 'bruto, incluindo todos os títulos citados pelos cursos, os con 
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trajes de qualidade são estabelecidos a posteriori, através de critérios de 
avaliação dos periódicos citados. Todavia não há, em um horizonte £ tem- 
^razoável, qualquer possibilidade concreta de gerar um Se % Z 

no Cutl^ttf* ^ t2 !- índÍCe Paia 3 meraíUrâ brasUeira ns ° intuída 

"o Zo i£s N?r; r itaçío , séria ' ^ ° utr ° ■*«*> toma * *»«- 

contaJL H f / ! ^ ***** Parte doS ob Í etivos atendidos por 
contagens deste tipo são estritamente comparativos. Contar publicações 

SeNoS r« àUZ "* artÍ8 ° S qUe 3tÍn ^ m -rtos^aSd 
rSf f« abundante, o poder de discriminação dos indicadores aumenta 
com o uso de cntenos mais rígidos de inclusão. Nesses casos, observamos 
que a contagem do total de publicações não se correlaciona c m o ™ 
dicadores de excelência. ouiros in 

POes tómos"ou C e a Lt f™'' 0nde é muit ° mais "*> ° fluxó^ publica- 
rentes D 7 am L?H / lndj " do J es com P°d« discriminatório em dife- 
rentes patamares de desempenho. Ê apropriado, por exemplo comoarar- 
mos a Economia da PUC/Rio e a da USP pelo número deTrtigos °m rea- 
tas citadas no Current Contenn. Esse talvez seja o indicador rrSs TscrimT 
nante para esses cursos, que estio dentre os melhores do pa s Nío ob^n- 

oiiaS n n n otl°Õ, CUr r ™* m0d " tOS e .P™«P^enCs mtos cot 
nuh com £E?" V T contrlbui Ç í ° P» «tes mesmos periódicos é 
rnfluenZf > ^ ^ ° ní>mt!0 t0tÚ de P-bucaçóes - pesadamente 

e de ouaHdX ? Ubhci f es em !***«» '««is e sem o menor con.ro- 
7.1. â Uahdade T sl S nlficatlv am«ite diferente de zero em qualquer um 

le o„e n^rf 1 ^ T* P2tamar ' Seja mdhor «»"« d ' Pesquisa a,r 

A utoo de r^ T eme ma ? PUblÍCaçSeS de ^Iquer quaBdade. 
A utilizaçío de um md,cador mais seletivo excluiria justamente as publica- 
ções que discriminam esses cursos icmcaspuoiica- 

sistémica aVaUaÇ '° ^ CAPES ' a ÚnÍCa ÍnStÍtUÍ ^° « «a.á-losT a oZ S 
Ao concluir esta seçío, vale lembrar que a avaliaçío por nares e 3 
ae avanaçao combinam, de alguma forma, os dois métodos. 



5. A experiência internacional 

t fles r^tívL^ ^^T- ^ M CaS ° S flusírativos > vale a pena discutir ques- 
tões relativas ao grau de institucionalização do processo avaliativo. De fato, 
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há processos de avaliação que, de tão informais e mesclados com outros 
procedimentos, podem passar despercebidos. Por exemplo, fundações fi- 
lantrópicas como a Fundação Ford e a Fundação Rockefeller utilizam 
como administradores das suas dotações de pesquisa, indivíduos cujo currí- 
culo académico nada os inferioriza em relação aos pesquisadores financia- 
dos. Para todos os efeitos, são pares aceitos como tais, podendo mesmo, 
em conversações informais, oferecer sugestões técnicas de valia. Ao mesmo 
tempo, essas entrevistas permitem formar juízos correios e explícitos do 
andamento da pesquisa. 

No outro extremo, temos os procedimentos utilizados na seleção 
dos artigos a serem publicados nos periódicos mais respeitados. Aqui, julga- 
dor e julgados não conhecem suas respectivas identidades. O parecer é en- 
viado pelo editor da revista, obliterando a assinatura do autor. parece- 
rista, por sua vez, recebe um original não assinado. Procedimento equiva- 
lente é utilizado nos concursos de ensaios e monografias. 

Em boa medida, o grau de institucionalização dos processos de ava- 
liação tem a ver com o que se avalia. Avaliar o processo científico é algo 
vago. Na prática, avaliam-se pesquisadores, projetos de pesquisa, grupos, 
departamentos, cursos, propostas etc. Ademais, pode-se avaliar a proposta 
ou o resultado, isto é, ex ante ou ex posto facto. 

Mesmo nos países mais avançados cientificamente, a maioria dos pro- 
jetos de pesquisa são avaliados ex ante. Isso tem sido objeto de fundadas 
críticas, já que o produto final é mais fácil de ser avaliado e o laudo obtido 
mais con fiável. . 

A tendência mais usual é dar um grau maior de formalização âs ava- 
liações individuais, seja de pesquisadores, seja de propostas de pesquisa. Es- 
te é o sistema dos comités de consultores que recebem propostas dentro de 
normas padronizadas. Já os grupos de pesquisa e as instituições podem, em 
muitos casos, ser avaliados sem periodicidade fixa, sem formatos pré-deter- 
mínados e por juízes recrutados ad hoc. Há igualmente diferenças associa- 
das a países. A Inglaterra tem uma tradição mais longa de avaliação, mas 
adota geralmente procedimentos pouco formalizados. Já nos Estados Uni- 
dos há uma superabundância de sistemas institucionalizados, mas nem sem- 
pre públicos, com comités de pares e farto uso de bibliometria. 

Examinamos em seguida alguns exemplos* de avaliações, escolhidos 
pela sua importância, e variedade. Nosso interesse é não só apresentar 
exemplos que ilustrem a gama de modalidades de avaliação, como também 
ilustrar diferenças no objeto da avaliação, já que são julgados tanto proje- 
tos como instituições. Mostramos inicialmente o sistema americano de ava- 
liação de cursos de pós-graduação. Depois, os mecanismos de seleção de 
projetos de pesquisa individuais na National Science Foundation, seguido 
de um sistema holandês, também de seleção de projetos. Finalmente, dis- 
cutimos um interessante método comparativo para a avaliação de progra- 
mas ou instituições individuais. 



159 



í 



6. As avaliações da pós-graduaçâo americana 

A primeira tentativa de avaliação conjunta das universidades ameri- 
canas deve-se a Hughes e data de 1928. Todavia, os grandes avanços foram 
feitos por Alan Cartter em 1966 e Roose & Anderson em 1970. Desde en- 
tão, inicia-se uma sequência pródiga e pluralista de avaliações de cursos e 
universidades, tomando conhecidos nomes como Astin, L. Solmon e mui- 
tos outros, associados a uma tradição de avaliações baseadas na reputa- 
çâ"o dos cursos. O artigo de Judith Lawrence e K. Greene (1980, p. 17) 
contém uma bibliografia com 221 títulos de artigos e livros sobre a expe- 
riência americana com análises de reputação - alguns apresentando avalia- 
ções, outros criticando ou comentando (Lawrence, 1980). 

A essência desses procedimentos consiste em pedir a um grupo de 
professores universitários que coloquem cursos ou universidades em ordem 
decrescente de sua excelência, tal como cada um as percebe. Estas classifi- 
cações são consolidadas em escalas que permitem hierarquizar os cursos. 

Note-se que há dois traços marcantes nesse processo. Em primeiro lu- 
gar, os professores nâ"o têm acesso a qualquer material ou informação adi- 
cional sobre o que estâ"o julgando. Sua apreciação refletirá estritamente a 
reputação que formaram previamente. O método visa tão somente captar 
uma ideia consolidada de hierarquia de reputações. 3 

Em segundo lugar, os painéis de avaliação são formados por professo- 
res típicos da média e não por aqueles que poderiam ter sido escolhidos pe- 
lo maior peso de sua opinião. O interesse não está no julgamento do cien- 
tista mais destacado, mas no do cientista médio. 

É de se notar o elevado grau de consistência encontrado nas compa- 
rações entre hierarquias geradas em pesquisas diferentes, bem como com 
outros indicadores de excelência académica, o que sugere que as medidas 
captam dimensões estáveis e bastante invariantes em relação ao que me- 
dem. Apesar de todos os aperfeiçoamentos e modificações introduzidas ao 
longo do tempo, o resultado surpreendente é que as instituições situadas 
no topo da pirâmide pouco mudam. Praticamente as mesmas 50 institui- 
ções reaparecem com 58 anos de intervalo. 

As medidas que buscam coisas como a excelência académica, o pres- 
tígio e a produtividade científica dos programas podem ter correlação en- 
tre si de até 0,99. Em outras palavras» há um conjunto de dimensões de 
qualidade e status que parecem ser altamente convergentes (Lawrence e 
Green, 1980, pp. 3, 19 e 20). Esse é o caso, sobretudo, do volume de pu- 
blicações, do prestígio dos professores e dos indicadores de recursos mate- 
riais e humanos. 

No decorrer das muitas avaliações realizadas foi possível identificar 
importantes fontes de distorções e ruídos, até certo ponto evitáveis: ex-alu- 
nos supervalorizam suas universidades de origem; professores supervalori- 
zam suas instituições; departamentos muito grandes e antigos têm mais 

160 



probabilidade de ter seus ex-alunos nos painéis de avaliadores; instituições 
mais distantes dos tradicionais centros universitários são menos conhecidas 
e, portanto, subestimadas. 

O próprio Cartter, o mais cuidadoso e experimentado desse grupo, 
advertia acerca do caráter disciplinar desse processo de avaliação. Só é pos- 
sível, na realidade, avaliar-se cursos ou departamentos. Assim, as "quími- 
cas" estatísticas, que permitem agregar dados para avaliar universidades 
como um todo, não mereceriam qualquer confiança. Mas nem por isso es- 
sas agregações deixam de ser feitas. 

O mais grave é que somente os melhores programas aparecem. Ou- 
tros menos destacados sequer são julgados ou seus resultados não merecem 
confiança. Os resultados, portanto, servem mais para referendar as posições 
tradicionais de um clube privilegiado do que à maioria. Nesse sentido, têm 
um efeito conservador de preservar o status quo,]i que esses resultados 
terminam tendo peso na alocação de recursos e escolhas dos estudantes. 

É preciso também não se iludir com o aparente rigor dos números. 
Entre o primeiro, o segundo e o terceiro cursos, pouca diferença real se po- 
de atribuir. Apenas pode-se afiançar verdadeiras diferenças quando há uma 
significativa distância entre duas instituições. 

Outro ponto de magna importância é saber o que se está medindo. 
Em geral, tais estudos medem a excelência da pesquisa produzida e a repu- 
tação dos professores. Sobre a qualidade do ensino nada se diz, exceto em 
alguns poucos estudos em que isso é explicitamente buscado. 

Além de nada dizer sobre instituições menores, toda tradição e esfor- 
ço avaliativo desses estudos se concentram na pós-graduação. Na verdade, 
portanto, é mais uma avaliação da pesquisa que do ensino. 

À guisa de conclusão, podemos dizer que desse enorme esforço ame- 
ricano deriva um conjunto de resultados em que se sobressai a forte consis- 
tência na identificação dos mais destacados grupos de pesquisa. São resul- 
tados importantes e muito úteis, desde que neles não se busque mais do 
que isso. Com eles ficamos sabendo quem chegou ao topo e nisso tem-se 
confiança. Em particular, avaliam-se apenas os melhores, apenas a pesqui- 
sa e apenas a pós-graduação. 



7. O modelo da National Science Foundation 

' Sendo a principal fonte de financiamento para pesquisas do país de 
maior produção científica do mundo, a National Science Foundation aca- 
ba tomando-se uma referência inevitável. E interessante notar que seu cor- 
po de funcionários permanentes é muito pequeno: alguns funcionários 
administrativos e um' grupo pequeno de renomados cientistas. O julgamen- 
to das propostas individuais, nessa instituição, é realizado por juízes exter- 
nos, cientistas de boa reputação. Esses cientistas recebem propostas na sua 
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especialidade ou subespecialidade, emitindo um parecer e uma nota final. 
Os pareceres são reunidos e examinados em seu conjunto pelos "cientistas- 
burocratas" da própria NSF, que emitem um julgamento final, aprovando 
ou não a proposta, isto é, confirmando ou não o parecer conclusivo dos 
juízes. (Em algumas áreas esses procedimentos são complementados por 
painéis externos de cientistas, que também opinam sobre as propostas). 
Mas sabe-se que quase sempre o *'pesquisador-funcionário" da NSF ratifica 
o julgamento do consultor externo. , 

Há um ponto metodologicamente crítico nesse processo. Para que 
os julgamentos individuais sejam comparáveis, é necessário que os critérios 
dos consultores externos tenham o mesmo nível de rigor ou exigência. Na- 
turalmente, o papel dos juízes internos da NSFé fazer essa compatibiliza- 
ção. Todavia, isso só funciona se a descalibragem entre consultores for ape- 
nas ocasional. Se esta fosse endémica ou crónica, as notas de nada servi- 
riam. Restaria a análise técnica e a substância do parecer, mas o volume de 
trabalho para o exame de cada caso tornaria inviável a operação do progra- 
ma sem grandes equipes. 

E de se notar que, de fato, parece haver consistência nos padrões dos 
juízes, o que pode ser verificado pela elevada taxa de confirmação dos jul- 
gamentos dos consultores externos. 

Contudo, é também oportuno registrar que justamente o mais cen- 
tral e visível sistema de avaliação por pares tem sido objeto de acusações 
candentes, gerando uma movimentada controvérsia, centrada nos editoriais 
da revista Science. 

R. Roy enfatiza, além dos pontos tratados anteriormente nesse en- 
saio, as questões de escolha dos pares, a falta de possibilidade de apelo, a 
elevada margem de erro do sistema e o excesso de tempo mobilizado para 
preparar propostas de pesquisa. Vale a pena rever esses pontos, por se re- 
ferirem a questões que em muito extrapolam problemas peculiares à Natio- 
nal Science Foundation. 

Em pesquisa recente, Cole, Cole e Sirnon (1981) mostram que há 
uma margem de erro da ordem de 25% nas decisões da NSF. Por virem 
de um trabalho metodologicamente bem cuidado, números tio elevados 
provocam considerável mal-estar, tal como o documentado pela pródiga 
troca de cartas da Science. 

Pela análise dessa pesquisa, parece que é na "loteria" da escolha de 
consultores que residem as divergências de laudos, já que, nos seus proce- 
dimentos, Cole e seus associados submetem os projetos julgados pela NSF 
a novo julgamento, por outros gares, derivando daí a margem de 25% de 
desencontro. De fato, há o problema de tradução diferente das preferên- 
cias - "bons" e "excelentes", por exemplo, são duas maneiras legítimas 
de mostrar aprovação, mas podem, no cálculo final das médias, significar 
a diferença entre aprovação e rejeição. Todavia, como os próprios autores 
indicam, se realmente há uma margem de enganos e equívocos resultantes 
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da compreensão inadequada de instruções, esta não é a fonte principal das 
divergências. No fundo, há diferenças de percepções acerca do que é boa 
ciência e acerca de prioridades. 

Na verdade, a posição de Cole não pode ser tomada simplesmente 
como uma acusação ao sistema de avaliação por pares, mas, sobretudo, 
como uma demonstração de que o consenso acerca do que é prioritário ou 
do que é boa ciência "é inevitavelmente parcial. A ciência trata com o des- 
conhecido e, consequentemente, deve conviver com uma área de penumbra 
nas suas decisões táticas e estratégias. * 

Por outro lado, é necessário contextualizar esses resultados. Tal mar- 
gem de erro é também função da natureza dos candidatos às dotações do 
NSF. Quanto mais variado for o nível de qualificação dos candidatos que 
se apresentam, menor a margem de divergências entre juízes diferentes. Le- 
vando ao extremo - apenas para facilitar a compreensão — entre uma pro- 
posta de um Premio Nobel e outra de um estudante de uma instituição me- 
díocre, é de se imaginar que os juízes tenham pouca dificuldade de concor- 
dar na identificação da melhor. As dificuldades surgem nas avaliações de 
projetos de nível intermediário. 

Podemos pensar que se esses mesmos juízes da NSF estivessem ava- 
liando propostas, digamos, do CNPq, a percentagem de erro seria menor do 
que os 25%. Não há dúvidas de que os nossos pesquisadores apresentam 
uma margem maior de propostas pouco convincentes ou com equívocos fa- 
cilmente detectáveis, isto é, que a dispersão da qualidade é maior. As diver- 
gências entre juízes, nesse caso, concentrariam-se na faixa das pesquisas 
aprovadas, nâ"o tendo portanto consequências práticas. 

Contudo, como aponta R. Roy, não devemos deixar de ver com cau- 
tela a dimensão de arbitrariedade presente no processo de escolha dos con- 
sultores. Já que "cada cabeça é uma sentença" e selecionar corretamente 
os consultores colabora para a obtenção dos resultados desejados, esse pro- 
cesso de escolha deve ser objeto de muito cuidado. 

Roy traz também à discussão o excesso de tempo requerido dos cien- 
tistas para preparar projetos. De fato, se há divergência de opiniões, quem 
apresenta mais propostas maximiza as chances de ser financiado. Suas esti- 
mativas indicam que os melhores cientistas americanos gastam entre um 
quarto e metade do seu tempo ou preparando ou julgando propostas (mais 
próximo da metade para os mais eminentes). Esse argumento, na verdade, 
é menos uma acusação ao julgamento por pares do que ao sistema de finan- 
ciamento de pesquisas baseado em projetos detalhados. ■ 

Finalmente, haveria que mencionar a ausência de mecanismos de re- 
curso às decisões dos painéis. Isso não é uma característica necessária do 
sistema. Contudo, é muito usual, inclusive na NSF. Essa incapacidade do 
sistema de detectar e corrigir erros grosseiros é geralmente exempli ficada 
com o caso do pesquisador que teve sua proposta recusada por não incluir 
entre os signatários um famoso pesquisador do mesmo departamento. A 
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suspeita de que poderia haver algo errado se este nome não figurasse é, em 
princípio, justificada. Todavia, a acusaçâ"o é de que não houve mecanismo 
de correção para retificar o julgamento negativo, jáque tal pesquisador ha- 
via morrido dois anos antes! 

Não há dúvidas de que tais críticas à NSF não são infundadas. O sis- 
tema erra, como devem errar todas as variantes adotadas pelo mundo afo- 
ra. Acontece, contudo, que outras alternativas não se revelaram melhores. 
As opções apresentadas na Science não escapam de críticas semelhantes. 



8. O sistema ínterativo holandês 

A agência holandesa de financiamento à pesquisa lançou uni novo e 
completo sistema de julgamento de propostas que está em operação na 
área de física pura. Vale a pena analisar suas principais características, já 
que estas respondem à tentativa de evitar as limitações frequentemente en- 
contradas nos sistemas mais convencionais. 

Além de físicos, o sistema tem como juízes, químicos, matemáticos 
e astrónomos. Mais ainda, inclui necessariamente dois estrangeiros. A esse 
grupo de consultores pede-se que comentem as propostas em seus méritos, 
interesses e limitações intrínsecas. Não lhes é perguntado se o projeto deve 
ou não ser financiado - só quem vé todas as propostas terá uma visão de 
conjunto que permita comparações. 

Esses pareceres, sem identificação dos autores, são enviados aos pro- 
ponentes da pesquisa para que tenham oportunidade de comentar ou res- 
ponSer às críticas. De posse de todo esse material, o júri dá notas e hierar- 
quiza as propostas, com base nos objetivos do trabalho, sua metodologia 
e qualidade. 

A decisão fina] de financiar ou não permanece uma prerrogativa da 
diretoria da agência. Na realidade, contudo, é raro deixar de haver um con- 
senso entre os membros do júri. Na prática, confirma-se sempre a indicação 
desse júri. 



9. O método dos indicadores parciais convergentes 

Irving e Martin, pesquisadores da Science Policy Research Unit 
(SPRU) da Universidade de Sussex, vêm realizando vários estudos de ava- 
liação de instituições individuais baseados na estratégia de utilizar um nú- 
mero grande de indicadores parciais. Como cada um deles pode estar 
sujeito a erros, não seria confiável basear julgamentos finais em critérios 
únicos. Mas, no seu conjunto, eles podem apontar para conclusões que se- 
rio tanto mais robustas quanto mais se mostrarem convergentes os diferen- 
tes indicadores. 
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Outra característica desse método é a preocupação de comparar 
apenas instituições rigorosamente da mesma área e, se possível, que te- 
nham equipamentos comparáveis. 

Vale a pena ilustrar seus procedimentos recapitulando um estudo 
recente desses autores, contratados para avaliar o telescópio Isaac Newton 
do Observatório de Greenwich (Irving e Martin» 1983). 

Sua estratégia inicial foi identificar três outros observatórios que ti- 
vessem telescópios ôticos de tamanho comparável (Cerro Tololo, Kit Peak 
e Lick). Em seguida, levantaram todas as publicações de cada observatório 
no período considerado. Estas listas foram então complementadas com es- 
timativas de produtividade per capita, tabulações de Citações destas publi- 
cações (através do Citation Index) e com os artigos citados muitas vezes. 
Foram também estimados os custos de produção de cada artigo, a partir 
dos orçamentos das instituições. 

Paralelamente, foram ouvidos os pesquisadores da área, que opina- 
ram sobre os méritos e limitações de cada um dos observatórios. Esses 
pesquisadores foram questionados acerca das diferenças, dificuldades e tra- 
jetórias das instituições. 

O estudo identificou assim uma significativa desvantagem de Green- 
wich em relação a vários de seus congéneres. Suas publicações eram muito- 
menos frequentes e isso não era compensado por um número maior de ci- 
tações. custo por publicação também era superior ao dos outros. 

Os cientistas consultados confirmaram esse desempenho mais fraco 
e apontaram suas causas. Revelou-se que. mesmo antes de ser construído, 
já se sabia ser inadequado o local - praticamente dentro de Londres - pe- 
las más condições de visibilidade decorrentes do clima e da localização. 
Mais ainda, declararam que, sendo uma "repartição pública", Greenwich 
oferecia condições de trabalho rígidas e burocratizadas, em comparação 
com instituições universitárias. Sua instrumentação complementar também 
era deficiente. 

A publicação do relatório gerou uma reação irada do seu antigo dire- 
tor, que escreveu à revista Social Studies of Science defendendo-se e con- 
tra-atacando os dois autores (Smith, 1983). 

Não nos interessa, particularmente, a^ evolução da disputa e sim 
exemplificar a utilização engenhosa de: 1) comparações entre instituições 
similares; 2) o uso de publicações e suas citações com o indicador de pro- 
dutividade; 3) o uso dê julgamento de pares. Parece bastante razoável acei- 
tar o aumento de confiança nos resultados quando se observa convergência 
dos indicadores parciais. 



10. A avaliação da pesquisa no Brasil 

Para um país de fraquíssimas tradições científicas, o Brasil até que 
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não está mal em termos de avaliação de pesquisa. Há um bom começo e 
um aceitável grau de capitalizaçlo da experiência que vai sendo adquirida. 

Como panorama geral, observamos que as quatro grandes agências 
ligadas à pesquisa e à pós-graduação - CPNq, CAPES, Finep e FAPESP 
- têm sistemas razoavelmente institucionalizados e com um número de 
previsibilidade nos seus resultados. Em contraste, agências setoriais ou ins- 
tituições nâ"o especializadas em apoio à ciência têm procedimentos mais 
erráticos. 

Existe uma permanente e ubíqua disputa de poder entre burocracia 
e academia. Estes conflitos podem ocorrer» em sua forma mais pura, nas 
decisões reivindicadas simultaneamente por pesquisadores e administrado- 
res sem formaçâ"o científica. Contudo» é mais frequente a intermediação 
das instâncias técnicas das agências. Enredam-se neste litígio, pessoas que 
há muito tempo lidam com assuntos de fomento à ciência e também uma 
categoria algo indefinida de pesquisadores, que se vinculam à burocracia 
das agências e têm suas lealdades e identidade profissionais repartidas 
entre a academia e a agência a que pertencem. 

Adiante examinaremos os procedimentos de três das quatro maio- 
res agências, deixando a CAPES para um capítulo à parte, face à existência 
de um estudo substancial sobre seu processo de avaliação. Como mencio- 
nado, os procedimentos destas agências estio, em boa medida, sintoniza- 
dos com as práticas usuais e respeitadas nos países cientificamente madu 
ros. Algumas, no entanto, estão aquém do que seria desejável e mesmc 
possível no nosso nível de desenvolvimento científico. De fato, propos- 
tas para seu aperfeiçoamento sâ"o' frequentes e muito ruído é produzido 
na sua discussão. 



1 1 . Os Comités Assessores do CNPq 

Tanto por ser a mais antiga agência de fomento à ciência quanto por 
seu papel, oficial de coordenador do Sistema Nacional de Ciência e Tecno- 
logia, o CNPq tem uma posição muito central. 

Até meados dos anos 70, seus métodos iniciais de triagem deprojetos 
não diferiam dos adotados usualmente: baseavam-se em juízos informais de 
um grupo limitado de cientistas transformados em administradores, que se 
valiam, quando necessário, de pareceres de colegas; Como resultado de 
uma reformulação interna, foram criados os Comités Assessores (CAs), 
compostos de grupos permanentes formados por cientistas com mandatos 
periódicos e correspondendo a cada área do conhecimento. Desde então, 
o funcionamento do CNPq tem sido definido em termos da divisão de res- 
ponsabilidades com os membros dos CAs. Além disto, existe ainda um 
Conselho Científico e Técnico que, em princípio, traça a política geral 
do Conselho e seleciona os integrantes dos comités assessores. 
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Os CAs têm total poder decisório na avaliação das propostas. Sua 
palavra é praticamente soberana. Dentro dos orçamentos disponíveis, o 
CAs selecionam as melhores propostas e deixam suas indicações para se- 
rem implementadas pela máquina do CNPq. 

O funcionamento desse sistema merece várias observações. Em 
primeiro lugar, os CAs não se envolvem muito com os detalhes financeiros 
dos projetos, que ficam por conta da administração do CNPq. Isso, em 
princípio, parece correto, embora uma melhor articulação entre os CAs 
e a administração pudesse ser útil em muitos casos. 

A total discreção dos CAs na alocação dos recursos tende a tornar 
os seus pareceres excessivamente lacónicos e pouco elucidativos. O CA 
não se sente obrigado a justificar-se perante o CNPq. A indicação dos 
seus membros é o endosso da confiança que ex ante desfrutam. 

De fato, a autonomia dos CAs deriva de um princípio saudável, 
que certamente deve ser defendido. Todavia, na prática, essa autonomia 
tem um aspecto negativo: uma certa desatenção para com os candidatos 
acerca das justificativas tomadas. Não esqueçamos o caráter educativo 
dessas comunicações. Decisões tomadas a portas fechadas e cujas razões 
não são mais adiante explicitadas têm menor legitimidade. 

Como- qualquer outro sistema que manipula recursos substanciais, 
o CNPq ê objeto de críticas. Não cabe aqui proceder a uma avaliação do 
CNPq, mas tão-somente identificar pontos controvertidos de seu sistema 
de avaliação. 

Muitas queixas referem-se à formação de igrejinhas e ao elitismo. 
Ainda que o sistema de rotação bianual dos consultores reduza a forma- 
ção de grupos de interesse e de sistemas fechados, o fato de o próprio 
sistema gerar novos nomes para as substituições pode ter os seus vícios. 

As panelinhas e igrejinhas são acusações difíceis de aceitar ou refutar. 
Em uma comunidade científica de porte limitado como a nossa, realmente 
não há muitos figurantes destacados. É inevitável que os mesmos nomes 
reapareçam constantemente. Não se pode a priori afirmar a existência de 
bons nomes excluídos ou de incompetentes participando das benesses da 
instituição. Sabemos que em maior ou menor grau isso ocorrerá; só não sa- 
bemos com que frequência. 

Mas afirma-se que competência é função de oportunidades. Cria-se 
um círculo vicioso ao excluir-se os que não se apresentam tão bem nos 
concursos. Por não serem beneficiados com recursos, não adquirirão a 
experiência necessária para competir em igualdade de condições. 

As maiores dúvidas quanto ao funcionamento do CNPq, todavia, 
não estão no funcionamento interno dos CAs, mas nos pontos de tangencia 
destes comités com o restante da instituição. Não restam dúvidas de que 
os CAs têm autoridade ■; talvez devessem mesmo estar mais atentos às justi- 
ficativas de suas decisões. A dúvida se refere a uma excessiva compartimen- 
talização das suas esferas de influência: poder total sobre a quota de recur- 



167 



w 



sos que recebem e nenhuma influência sobre a política científica que gera 
as regras do jogo e determina as quotas e rubricas onde se pode gastar. Em 
um sistema amadurecido e bem azeitado isso não seria problema maior. 
Contudo, em um estágio de transição e redefinições como o que prevalece 
hoje, o número de arestas e pontos duvidosos é excessivo. Mais ainda, essa 
divisão estanque é artificial e disfuncional, atingindo detalhes como divisão 
de gastos entre bolsas e auxílios etc. Quem lida com as propostas está em 
posição privilegiada para discutir políticas de apoio à sua própria área. 

Um ponto muito delicado nesta convivência é à medida que os 
CAs são utilizados para o financiamento da ciência brasileira. Claramente, 
o CNPq não canaliza todos os seus recursos desta forma, operando ainda 
outras categorias em que as decisões são geradas pela sua própria adminis- 
tração. Todavia, essa distribuição entre programas internos e CAs é inevi- 
tavelmente arbitrária e consequentemente, controvertida. Os funcionários 
da instituição disputam com os assessores da comunidade a administração 
dos recursos do órgão. 

Os comités assessores do CNPq produzem periodicamente as Avalia- 
ções e Perspectivas. Trata-se de uma coleção de avaliações, cobrindo todas 
as áreas do conhecimento. Não são avaliações de programas ou grupos in- 
dividuais, mas do estágio de desenvolvimento da área como um todo, com 
eventuais comentários que individualizam alguns exemplos. Observa-se, de 
área para área, uma inevitável flutuação na qualidade desses ensaios. 



12. A tradição da FAPESP 

O sistema da Fundação de Amparo a Pesquisa de São Paulo tem uma 
boa reputação no que tange à sua estrutura e funcionamento. Inicialmente, 
as propostas são enviadas para consultores externos (da comunidade cientí- 
fica) para que apresentem por escrito seus comentários. Acompanhadas de 
seus respectivos pareceres, estas propostas são então apreciadas, em seu 
conjunto, por um comité de consultores da área, convocado pela FAPESP. 
Deste grupo emana a decisão final de aprovar ou recusar um projeto. 

Note-se a lógica da divisão de trabalho entre os "pareceristas" e o 
comité. Na verdade, tratam-se de duas etapas diferenciadas e que merecem 
atenção e talentos diferentes. 

A revisão técnica de uma proposta é mais bem feita quando realizada 
por cientistas que desenvolvem linha de trabalho suficientemente próxima 
do tópico da proposta. Cada parecer, idealmente, requer um volume alen- 
tado de trabalho, não sendo possível que poucos se encarreguem de rever 
em profundidade um número grande de propostas. Os pareceres, portanto, 
não são imediatamente comparáveis entre si, já que são confeccionados por 
pessoas diferentes. Não há fórmulas fáceis de se comparar juízes. 

Por outro lado, um comité de pares com o nível de eminência acadé- 



mica desejável e com a visão de conjunto requerida, dificilmente poderia 
dispor de tempo para examinar as propostas uma a uma e entrar nos seus 
méritos técnicos ou metodológicos. Mas ainda, cada "sub -sub- área" tem 
os seus meandros e segredos, sendo impossível para qualquer indivíduo 
- ou mesmo para um pequeno grupo - conhecer a intimidade de cada 
tema, de modo a identificar méritos ou fraquezas. Assim, inevitavelmente 
haverá um resíduo considerável de erros e equívocos nesses julgamentos 
por comités auto-suficíentes em seu trabalho. 

O sistema FAPESP, tal como outros existentes alhures, combina o 
parecer técnico individual com a visão de conjunto do grupo de pares. 
Inicialmente, os consultores convocados dão seu parecer mais cuidadoso 
e bem fundamentado sobre cada projeto individualmente. O comité se 
reúne mais adiante e louva-se sobretudo nesses pareceres para o julgamento 
comparativo, tarefa em que maior visão de conjunto é exigida. 



1 3. A avaliação dos técnicos da FINEP 

Pela magnitude dos recursos mobilizados, pela total dependência da 
big science brasileira aos financiamentos por ela concedidos e pelo caráter 
institucional do seu apoio, sobretudo a grupos novos, a FINEP foi prova- 
velmente a agência de maior expressão em C& T na década de 70. Sob seu 
apoio financeiro estabeleceram-se muitos dos grupos de melhor reputação 
hoje. 

Ao contrário dos sistemas que delegam grande parte do processo de 
avaliação a pares da comunidade científica, a FINEP utiliza-se predomi- 
nantemente do seu próprio pessoal técnico. Para isso dispõe de um amplo 
quadro de pessoas, geralmente recrutadas na comunidade académica. 

O procedimento usual consiste em alocar um ou mais técnicos para 
examinar cada projeto. Esses técnicos preparam a sua análise que é então 
submetida à diretoria para o chamado enquadramento, a primeira seleção. 
Em seguida, os projetos enquadrados são objeto de uma análise mais apro- 
fundada, sendo então novamente submetidos à diretoria para aprovação. 
Em muitos casos, para auxiliar o julgamento interno, dirimir dúvidas ou 
lidar com casos mais difíceis, são buscados pareceres externos na própria 
comunidade académica. 

A observação não sistemática sugere que a FINEP tende a escolher 
consultores de excelente reputação profissional. Todavia, não há critérios 
explícitos para essa escolha, que depende principalmente de decisões das 
chefias intermediárias. Tratando-se de uma escolha aã hoc, não há garan- 
tias de que não seja influenciada pelo interesse do técnico de ver confirma- 
das suas preferências. , 

Os procedimentos de avaliação de projetos da FINEP foram objeto 
de uma tese de doutorado (M. Carakushausky, 1982). Nesta tese a autora 
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toma 71 projetos julgados pela instituição e reexamina o processo de julga- 

l«ít°™ t S ?? JCt f 7 d ? S , qUaÍS 45 foram ovados- representaria ia 
amostra estratificada das diferentes áreas de conhecimento financiadas pela 
agencia. F 

dido, ^ZVrT^Â d ^ en ? ente : t«no«-*e a relação entre os recursos pe- 

t n L n? C °" Cedld _ OS - Ass ! m ' obtêm es «res maiores aquelas instituições 
em que os pedidos sao atendidos em maior grau. 

riAn.Hnf 1 » 8 * na ^ teratUra da ^ 35 crité rios de avaliação foram sele- 
cionados. Em analise estatística subsequente, estes foram agrupados 
em quatro nu.Tofatores": relevância do projeto, credibilidade d!f equipe 

proj^o. ÇÍ ° CÍentífíCa e C ° ndÍÇÕeS CÍentíflCaS e to^Çioà do 

Sobre a avaliação dos projetos foram entrevistados 1 7 pesquisadores 
da Universidade Federal do Rio de Janeiro e 20 analistas da FINEP a ™ 

leL^detfd^ 1 atribU1 ' r n ° taS 3 "^ Pr ° jet0 demr ° *» «*« e 
Com esses elementos, foram realizados exercícios de correlação par- 
cial, associando o nível de financiamento aos escores nos quatro fatores 

Zí«T g x ■ aíraves , da ajlaMse d °* Pretos e com o auxilio das en- 
TãfJ*£ C ^°r? d£ financiara ^o obtido. Se os processos 
d mldo? Teri, d', EP f0SSCm arbÍtrán '° S ° U ^essivamente" eivado 
tf e^ft« Zr es P e ™ u ™ associação fraca. Pelo contrário, correla- 

X£^^ l r ,astmca de julgamento e vajidaça ~° dos critéri ° s 

relaca^LTi^r -^ 11111 ?/ °T nda WpÓteSe ' 0s co ^ientes de cor- 
relação para a produção cientifica dos doutores do grupo e para a relevân- 
cia do projeto são respectivamente 0,37 e 0,26. (Notei que o moTe^é 
diferente e portanto os resultados não são compatíveis com os da NSF ci- 
tados anteriormente). » 

mm J m ° Uíras P davra ^' verificai que obtêm mais recursos, aqueles 
grupos que exibem currículos com maior número de publicações e que 
escolhem temas considerados mais relevantes. ouwçoes que 

Entrando mais nos detalhes da análise, verifica-se que os fatores 
que explicam a aprovação são diferentes dos que explicam a rejeição Bons 
orçamentos e resuhados preliminares, por eLmpfo, ajudai 'aprovar 
enquanto que revisões bibliográficas pobres e desarticulação na progra 
mação de pesquisa do grupo condenam outros projetos. 
_ Esse é um resultado de algum interesse. Não são poucas as acusa- 
ções que pesam sobre a FINEP quanto à sua arbitrariedade exalta de 
■cntenos : Tal estudo pelo menos demonstra que os erros não estão na 

à7n!l?J*í * e . tam P° UC0 P° deriam **»& um número preponderante ' 
de projetos; todavia, não permite dizer se a margem de erro é aceitável 
mente baixa. De fato, não são resultados tão explícitos Tíin^reí 
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ção tão literal quanto os. mencionados para a National Science Founda- 
tion. 



14. Conclusões: avaliação da ciência ou loteria pseudodentífica? 

Nas seções anteriores, examinamos um significativo número de siste- 
mas de avaliação de pesquisas dentro e fora do país. Alguns denominadores 
comuns podem ser extraídos dessa experiência. 

Esses sistemas foram pensados para identificar talento, competência 
e o interesse do trabalho proposto, refletindo as manifestações tangíveis 
e arrematadas dessas qualidades. Eles não estão, entretanto, voltados para 
identificar promessas ou pistas que levem a filões de futuro. Dessa forma, 
não devem ser entendidos como mecanismos de diagnostico precoce ou de 
incentivo a grupos imaturos, ainda que com potencial. Para tais casos exis- 
tem outros mecanismos que abordaremos mais adiante. 

Mas, entendidos como mecanismos para comparar desempenho - e 
não o seu potencial futuro - são instrumentos razoavelmente confiáveis 
e previsíveis. Há ampla evidência, inclusive há dois exemplos brasileiros, 
de que a avaliação da pesquisa produz resultados consistentes e fidedignos. 
Em outras palavras, propostas julgadas por pessoas diferentes - mas tendo 
em comun uma boa reputação como cientistas - tendem a receber laudos 
equivalentes ou parecidos. 

Pesquisadores bem formados e que contribuem regularmente para a 
Literatura da sua área tendem a convergir em sua opinião sobre propostas 
de pesquisa. A percepção dessa intangível e fugidia "qualidade" é compar- 
tilhada por aqueles que são capazes de produzir coisas que também exibem 
essa qualidade. Na verdade, há uma inevitável circularidade em tudo isso. 
Mas o objetivo desses processos não é identificar os valores eternos da 
ciência e sim as pesquisas ou propostas que melhor prossigam o trabalho 
dos cientistas que* aí estão. 

Verifica-se também que os critérios proclamados como decisivos nos 
julgamentos, realmente emergem como centrais nos processos de escolha. 
Isto é, há consistência entre os valores ditoá« relevantes e aqueles verdadei- 
ramente utilizados. 

Todavia, esses julgamentos estão longe de serem perfeitos. Sua mar- 
gem de erro ou inconsistência é significativa e deve ser objeto de preocupa- 
ção e cuidados. Na verdade, essa faixa de equívocos e enganos e, até certo 
ponto, função dos cuidados e precauções que se possa tomar. Os sistemas 
existentes- evoluíram justamente em função desse empenho em reduzir o 
erro. De fato, parece seguro afirmar que essa margem de erro é pequena o 
bastante para garantir?lhes ampla superioridade em relação aos sistemas in- 
formais, casuais e desestruturados que os precederam. 

Mas é forçoso reconhecer que os atuais sistemas continuam aceítan- 
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do algumas propostas mais fracas do que outras que foram "excluídas, isto 
c, que eles ainda contêm erros. Por outro lado» as decisões envolvem di- 
mensões de julgamento distintas e que merecerão pesos variados dos dife- 
rentes juízes. Não há como dirimir um conflito de preferências entre um 
projeto melhor resolvido, porém menos original e um outro mais criativo, 
mas com incorreções e asperezas. 

Essa busca de aperfeiçoamento dos sistemas de avaliação tem apre- 
sentado progressos consideráveis, obtidos por conta de melhores formatos 
organizativos e soluções mais modernas ou mais sofisticadas. Todavia, 
não é só isso. Um sistema mais tosco ou rudimentar, porém bem operado, 
pode ser mais confíável que outro mais sofisticado mas de funcionamento 
precário. Em particular, não podemos tomar o que foi visto nas seções 
anteriores sobre os formatos organizativos e concluir sobre os seus me*ritos 
relativos a partir daí. No fundo, estamos falando de formas diferentes de 
acesso a uma caixa preta que é o julgamento individual. A excelência desse 
julgamento é o que realmente conta, mais do que a sua correta administra- 
ção. 



Notas 

1 A matéria que segue apóia-se na série de trabalhos de John Irving e Ben Martin 
sobre avaliação de pesquisa. Ver Irving e Martin. 1980, 1983a, 1983b, 1983c e 
Schwartzman c outros, 1982. 

É ilustrativo registrar as dificuldades da Fiuep em relação aos seus grandes proje- 
tos, os "finepõcs", que podem determinar a vida ou a morte de departamentos 
universitários inteiros. Não é por acaso que o processo decisório nesse órgfo 
extravasa os gabinetes e comissões, entrando mesmo em um cenário político e 
de lohbies externos. 

3 Em seus últimos trabalhos, Cartter reverte um pouco essa tendência, fornecendo 
aos juízes informações sobre os cursos. 
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HL AS AVALIAÇÕES DA CAPES 



Cláudio de Moura Castro e Gláucio A. D. Soares 

A publicação, no Estado de São Paulo, em meados de 1982, da lista 
dos 56 cursos de pós-graduação que obtiveram o pior conceito (nota "E") 
na avaliação da CAPES provocou um momento de grande excitação na co- 
munidade académica brasileira, culminando num debate que ganhou consi- 
derável espaço e cores vivas na grande imprensa. 

A divulgação oficial da lista dos cursos de melhor conceito na avalia- 
ção da CAPES já havia iniciado uma polémica que extravasou os circuns- 
pectos muros da academia. Em seguida, a revista Playboy* em artigo sobre 
a qualidade do ensino, reiteradamente referiu-se a essas avaliações. Mas 
foram as entrevistas publicadas com os indignados e vociferantes responsá- 
veis pelos cursos considerados como "sem condições mínimas de funciona- 
mento", que levaram a controvérsia a seu clímax. Alguns chegaram a pen- 
sar que o sistema de avaliação, como mecanismo de sinalização para o 
apoio financeiro à pós-graduação, estaria seriamente ameaçado. 

Não obstante, tal teste perante o grande público serviu para consoli- 
dar a legitimidade do sistema junto às agências financiadoras de ciência e 
tecnologia e perante a comunidade académica mais sólida. Na verdade, 
confirmou-se a estabilidade e robustez de um ambicioso sistema de avalia- 
ção da pós-graduação brasileira. É de se notar que tais incidentes coinci- 
diram com a fase final de implementação, na CAPES, de uma série de me- 
canismos vinculando os auxílios a uma boa nota na avaliação. Mais ainda, 
foram criados dispositivos que condicionavam o auxílio aos bons cursos a 
compromissos da universidade de definir uma política realista para os seus 
cursos mais fracos. 



Os autores agradecem as críticas e sugestões de João Batista Araújo e Oliveira, 
Simon Schwartzman, Raimundo Tadeu Corrêa, Lúcia dos Guaranys e Norma 
Rancid. Cumpre, todavia, eximi-los da responsabilidade pelos possíveis erros e 
omissões ddstè trabalho. 
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. gera coeficientes de 0,98, 0,96 e 0,92. As outras correlações da matriz são igual- 
mente elevadas. 

16 Ê interessante verificar a predominância, na pioduçá"o da PUC/RJ, das áreas duras, 
em contraste com o peso das áreas sociais na PUC/SP. 

17 



18 



Ver, neste volume, o Capítulo III - Terceira Parte. 

Dados do Boletim Estatístico MEC/SESu (novembro 1982). 
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Note-se que o ISI é muito restritivo, só incluindo as ciências "duras"; as áreas so- 
ciais e as engenharias, por exemplo, ficam de fora. 

Entre 1980 e 1982 o número de artigos nacionais cresceu de 4.810 para 5.947, 
isto é, em 24%. 
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